一、 产品定位与核心亮点 技术定义:腾讯云数据库 TDSQL(TDStore引擎)是 TDSQL 产品系的新一代关系型分布式数据库。 存储层:TDStore 存储引擎。 硬核指标 性能:单实例可支撑千万级QPS。 容量:单实例可支撑PB级别的存储量。 压缩率:对比InnoDB存储引擎,最高可实现高达20倍的压缩率。 解决方案:采用TDSQL TDStore方案的高可扩展集群架构、高压缩低成本海量存储引擎,并利用其支持Online DDL的能力。 成效: 成功管理单表超800亿行数据。 解决方案:迁移至TDSQL TDStore方案,利用其容器化开箱即用的便捷运维、对SQL友好(支持二级索引、分布式事务)、跨可用区高可用容灾以及高压缩低成本存储特性。
不仅如此,TDSQL也对数据库新架构、新技术不断进行了积极的探索。TDSQL新一代产品TDStore版,正是腾讯云数据库团队技术探索的最新体现。 本次分享,腾讯云数据库专家工程师唐彦,将为大家介绍TDStore的新技术演进之路。 TDSQL MySQL 产品族概述 第一部分阐述目前腾讯云内部数据库的MySQL版本大家族的情况。 总体来说,目前MySQL有两款引擎产品,已推出的并被大家熟知的、目前在跑的一款就是TDSQL InnoDB版,在金融行业数据库应用非常多,今天着重跟大家分享的产品是腾讯在内部叫做TDStore的这个新引擎架构 ,以下分享会以新敏态引擎或TDStore混合称呼该款产品。 TDSQL 敏态引擎之存储层——TDStore TDStore作为分布式存储层,不但负责保存用户的数据,其设计中还是两阶段事务协调者的这一层,不同的数据是根据Raft协议分布在不同的节点,都是由Raft
一、产品定位与核心亮点 腾讯云数据库 TDSQL(TDStore 引擎)是 TDSQL 产品系的最新一代关系型分布式数据库。 数据来源:腾讯云数据库 TDSQL(TDStore 引擎)产品介绍及典型案例材料。
综上所述,TDSQL新引擎TDStore的愿景,是希望可以让业务能够像使用单机数据库一样去使用分布式数据库。 TDSQL新引擎TDStore 技术亮点 TDSQL新引擎TDStore具备以下功能特性: 一是MySQL兼容、分布式、低成本: 兼容原生MySQL语法,具有事务的全局一致性,无感知扩缩容。 支持大部分DDL操作以Online方式执行 TDSQL新引擎TDStore 架构设计 TDSQL新引擎TDStore架构分为三个核心模块,分别为计算模块SQLEngine、存储模块TDStore、管控模块 TDSQL新引擎TDStore 分布式事务 TDSQL新引擎TDStore的分布式事务模型,遵从了2PC(2阶段)提交协议,来保证分布式事务提交的原子性。 TDSQL新引擎TDStore 无感知扩缩容 无感知扩缩容是TDSQL新引擎TDStore最重要的特性,其通过存储层TDStore和管控模块TDMetaCluster的配合来完成。
本文将分享腾讯云数据库 TDSQL 系列的最新产品:分布式数据库 TDStore 的数据智能调度及相关性能优化实践。 至于其余两个挑战,则通过 TDStore 的智能调度机制来解决。接下来,我们将具体探讨 TDStore 是如何应对这些挑战的。 五、TDStore 数据智能调度 TDStore 通过多级规则体系实现数据亲和性调度。 TRANSFER LEADER RG 869736TO'node-tdsql3-c1528b96-001'; ALTER INSTANCE TRANSFER LEADER RG 72133681TO'node-tdsql3 TDSQL TDStore引擎版替换HBase:在历史库场景中的成本与性能优势 大存储类数据库降本解决方案 存储空间降至1/6:TDSQL替换InnoDB引擎海量数据场景 数据中台解决方案 TDSQL
TDSQL TDStore引擎为腾讯广告中台系统提供新一代数据库解决方案,实现业务目标。 解决方案 TDSQL TDStore引擎版是TDSQL产品系的最新一代产品,采用容器化云原生架构,100%兼容MySQL 8.0语法,原生Online DDL支持动态更改表结构,超高压缩比存储能力可支持海量存储 TDStore可很好的支持MySQL海量数据及敏态业务,本次实践中, TDStore为业务系统提供解决方案如下: 方案成效 TDStore解决方案有效解决业务问题,实现相关成效: 业务实现如单机MySQL 该业务系统集群自切换至TDStore以来,保持平稳运行,以及高效的业务响应。 ﹀ ﹀ -- 更多精彩 -- 冷数据归档降本解决方案 TDSQL TDStore引擎版替换HBase:在历史库场景中的成本与性能优势 大存储类数据库降本解决方案 存储空间降至1/6:TDSQL替换InnoDB
一、 产品定位与核心亮点 技术定义: TDSQL(TDStore 引擎)是腾讯云 TDSQL 产品线下的最新一代关系型分布式数据库,底层采用容器化云原生架构。 二、 产品应用场景(痛点与匹配) TDStore 引擎主要针对以下三类典型业务场景及痛点提供支撑: 高并发读写场景 适用对象:银行交易账单、发票流水系统、网络爬虫数据、物联网数据。 存储层 (TDStore):采用 Multi Raft 协议,通过 RepGroup 和 Region 进行数据的分布式存储与管理。 解决方案:整体迁移至新 TDStore 方案。 总结:腾讯云数据库 TDSQL TDStore 引擎通过“多主计算+高压缩存储”的云原生分布式架构,在千万级并发与 PB 级存储场景下,为企业提供了兼容 MySQL 的零入侵迁移方案。
腾讯云数据库TDSQL(TDStore 引擎版)作为TDSQL家族的最新一代关系型分布式数据库,采用容器化云原生架构,具备集群高性能计算能力和低成本海量存储,为应对大规模部署奠定了基础。 TDSQL还依托容器化云原生架构,支持秒级弹性扩缩容,可根据负载自动调整节点规模与配置。 目前,腾讯云数据库TDSQL(TDStore引擎版)已在腾讯内外部业务中使用,稳定支撑腾讯广告、腾讯游戏、腾讯计费等业务运行。 ﹀ ﹀ ﹀ 1.TDStore 技术解读: 探索TDStore:Online DDL的技术演进与使用实践 2.TDStore 解决方案: 冷数据归档降本解决方案 TDSQL TDStore引擎版替换HBase :在历史库场景中的成本与性能优势 大存储类数据库降本解决方案 存储空间降至1/6:TDSQL替换InnoDB引擎海量数据场景 数据中台解决方案 TDSQL敏态业务实践:海量数据中台的"TP+AP"敏捷融合
统一 JDBC 访问层下的历史库查询瓶颈与数据质量挑战 财付通金融科技目前的数据库架构采用统一 JDBC API 访问,其中在线库(热数据)查询占比达 95%,由 6 个 TDSQL MySQL 分片承载 引入 TDSQL 新一代敏态引擎 TDStore 重构历史库 针对 HBase 的痛点,财付通采用 TDSQL 新一代敏态引擎 TDStore 进行替换。 迁移方案: 利用 DTS 数据传输服务导出 SQL 文件,结合 myLoader 导入或快照导出技术,实现从 TDSQL MySQL 集群/HBase 到 TDStore 的数据迁移。 容量对比数据(单位:GB): HBase (先查索引表,后查主表): 5.5 TDStore 引擎: 6.5 TDStore 引擎: 5.0 TDStore 引擎: 4.5 TDStore 引擎: 4.0 “TDSQL TDStore 引擎是分布式关系型 MySQL 8.0 改造,兼具扩展性和 MySQL 兼容,与上游 MySQL 保持相同的字段类型,极大简化了业务开发难度,并更好保证数据质量。”
本文将分享腾讯云数据库 TDSQL 系列的最新产品:TDStore 的 OnlineDDL 的技术演进与使用实践。 TDStore架构介绍 TDStore 是腾讯面向金融级应用场景的,高性能、高可用的企业级分布式数据库解决方案,采用容器化云原生架构,提供集群高性能计算能力和低成本海量存储。 ,它向下层的 TDStore 发送事务相关的读写请求。 =1;set tdsql_bulk_load = 1;LOAD DATA INFILE '/data/TPCH_test/dbgen/tpch-100g/${tbl}.tbl. TDStore Online DDL的发展 TDStore 正在飞速发展,各项功能立足于用户的需求正在快速迭代与完善。
解决方案与成效: 存储空间降至1/6,查询提速8倍 TDSQL TDStore引擎是TDSQL 产品系的最新一代关系型分布式数据库,采用容器化云原生架构,提供集群高性能计算能力和低成本海量存储;支持原生 针对本次海量数据业务场景,TDStore实例采用48节点对等架构,并提供低成本高压缩存储引擎,帮助业务成功替换原MySQL InnoDB方案,实现大幅降本增效: ● 存储空间大幅节省:相较于使用2副本的 业务系统自2021年11月开始迁移到TDStore ,至今平稳运行。金融级海量数据业务场景的实践打磨,再一次证明了TDStore 的稳定可靠。 往期案例精选: TDSQL TDStore引擎版替换HBase:在历史库场景中的成本与性能优势
解决方案:TDSQL新一代敏态引擎TDStore的核心能力 TDSQL TDStore引擎基于云原生容器化架构,100%兼容MySQL 8.0语法,针对HBase痛点提供针对性解决方案: 简化运维:私有化部署基于腾讯云原生套件平台 数据迁移通过DTS(数据传输服务) 实现,从生产MySQL集群导出SQL文件,再通过myLoader工具导入至TDStore集群,或通过快照方式从HBase迁移,流程清晰。 量化收益:存储成本与查询性能双重优化 将还款记录业务从HBase迁移至TDSQL TDStore引擎后,取得显著量化收益: 存储成本降低:单副本(不含索引)数据压缩率达到25%,存储空间占用大幅下降。 “TDSQL TDStore引擎有效解决了我们历史库在性能、一致性和运维上的核心痛点,迁移过程平滑,收益立竿见影。” —— 成江东,财付通金融科技数据库负责人 技术前瞻:统一架构赋能多业务场景 TDStore引擎的成功验证了其在高压缩比、高性能历史数据存储场景的价值。
引入 TDSQL TDStore 敏态引擎重构底层存储 为彻底解决上述架构痛点,业务团队引入基于容器化云原生架构的 TDSQL 新一代敏态引擎 TDStore,全面替换原有 HBase 历史库集群。 量化核心业务系统的数据查询与存储效能 经过架构替换与业务割接,基于 TDSQL TDStore 引擎的还款记录历史库在系统性能、存储成本与开发规范上实现了精确的量化收益: 执行时耗大幅缩减: 摒弃了原先 数据规范与研发提效: 迁移后,上下游数据库(TDSQL MySQL 与 TDStore)保持了完全相同的字段类型定义和字符集定义,彻底消除了字符集转码及应用层数据校验的开发冗余,极大简化了业务开发难度。 构建云原生兼容与极致压缩的底层数据基座 在金融科技业务向海量数据精细化运营演进的过程中,选择 TDSQL TDStore 的核心逻辑在于其精准弥合了“关系型数据库的开发体验”与“NoSQL 数据库的存储成本
报告标题:分布式数据库在大规模部署阶段的挑战与应对 发布机构:IDC(国际数据公司) 发布时间:2024年 行业标签:金融,政务,交通出行,电商,社交娱乐,零售,物联网 产品标签:#TDSQL #TDStore 报告目录 推荐腾讯云TDSQL(TDStore引擎版) 大规模部署面临的新挑战undefined 2.1 复杂业务下高并发读写及混合负载挑战undefined 2.2 海量历史数据迁移与管理难题undefined 采用透明分布式设计,100%兼容MySQL语法,实现单机至分布式的无缝迁移(来源:TDStore引擎版特性)。 基于LSM-Tree的存储引擎实现最高20倍数据压缩率,降低PB级存储成本(来源:TDSQL性能指标)。 为什么选择腾讯云 技术先进性:TDSQL TDStore引擎版采用容器化云原生架构,支持多主读写、透明分布式与在线DDL,具备处理高并发海量数据的核心能力。
部署基于数据感知调度的 TDStore 引擎 TDSQL 推出的 TDStore 作为新一代敏态引擎,通过以下技术架构解决上述瓶颈: 一体化对等架构: 计算层(SQLEngine)完全兼容 MySQL 量化性能表现与关键业务价值 基于 Sysbench 标准测试(环境:3节点 32Core/64GB/350GB,v18.0.0),TDStore 展现出以下关键指标: 测试场景 并发数 QPS 平均响应延迟 海量日志流水(原 TDSQL InnoDB): 场景: 发票日志流水。 方案: 利用 Multi-Raft 强一致与写入线性扩展能力,解决原 InnoDB 写入瓶颈。
管控节点TDMetaCluster首先会向region副本所在的存储节点TDStore下发分裂任务,将数据量超过阈值的region一分为二。 也就是说,分裂只能够让每个TDStore节点上的region数量增加,region变得更均匀。要想达到水平扩展的效果则需要接下来的迁移任务,韩硕老师也详细分享了迁移任务实现的具体流程。 (snapshot data)过来,形成临时的有序SST数据文件,然后将这些临时SST数据文件插入到新增的TDStore节点的LSM-tree的合适位置,从而完成数据的迁移。 迁移任务实现了数据以region副本的形式在新旧TDStore节点之间的自动均衡,即存储节点集群的水平扩容。 因此我们对每个region不同角色的副本的开销负担进行统计预估,然后通过下发切主任务,让开销热度较大的leader副本尽量均匀分布在不同的TDStore节点上,将热度打散,从而达到负载均衡。
构建一体化对等架构与透明分布式引擎 为应对上述业务挑战,腾讯云推出新一代敏态引擎 TDSQL TDStore,通过软硬件结合与内核级创新,提供强一致、高兼容的底层数据解决方案: 强一致透明分布式引擎: 一体化对等架构设计: 创新性地将计算模块(SQLEngine,多主架构/多点写入)与存储模块(TDStore,基于 LSM-Tree KV 引擎)融合在 Hypernode 节点中。 量化压测指标与存储压缩业务收益 TDSQL TDStore 在提升吞吐量、降低查询延迟及压缩存储成本方面,提供了明确的量化业务价值。 1. 实际数据量对比:10亿条数据在 TDSQL (InnoDB) 中占用 1810 GB,在 TDSQL (TDStore) 中仅占用 348 GB。 依托底层技术创新夯实企业级数据基座 选择 TDSQL TDStore 的核心逻辑在于其以确定的技术路径解决了分布式数据库领域的多个工程难题。
假设后端有两个敏态引擎存储节点即TDStore,第一个TDStore上Region的范围为0x01-0x02,这样两个记录的主键就存储在TDStore1上。 第二个TDStore上的Region的范围是0x02-0x03,这两个值的二级索引存储在TDStore2上。 经过上面的过程,我们可以看到当往t表中插入一行记录时,TDSQL新敏态引擎会产生两个Key,这两个Key还可能会存放在不同的TDStore上。这时我们就会遇到事务原子性的问题。 两个SQLEngine都同时发现在TDStore上Key:0x0103并不存在,于是都将Key:0x0103发到TDStore上要求将其写入,但它们对应的value又不相同,最终要保留哪条记录呢? 但这种做法带来的坏处是网络层次太多,首先两阶段的日志先发送到存储层TDStore的Leader,再同步到TDStore的Follow,然后才能进行真正的两阶段请求。
TDSQL分为三层:绿色部分是计算层,称之为SQLEngine;紫色部分是管控层,简称为MC,负责整个集群的管控调度工作;蓝色部分是存储层,称为TDStore。 TDSQL 天然支持分布式事务。 我们设计成数据和管控完全分离的架构,数据完全存储在TDStore上,只负责数据流的读写。其他工作完全交由管控层去进行,MC只需要监控整个集群的状态做出关于存储资源的决策。 在分布式数据库中随时可能有节点挂掉,但通过步骤划分,无论是MC挂掉还是TDStore挂掉,节点拉起来后都知道要如何操作。 我们设立表内数据的概念,每个数据在物理层面都可以知道每个Key落在哪个TDStore,但无法感知到它们属于哪个二级索引。
基于LSM-Tree与Multi-Raft的强一致分布式架构 TDSQL敏态引擎(TDStore)采用计算-存储分离的一体化对等架构,核心突破在于: 存储引擎革新:基于LSM-Tree结构的KV引擎实现高压缩存储 已应用于发票日志流水系统(原TDSQL InnoDB)。 敏态业务敏捷响应 效果:支持秒级Instant DDL与非阻塞Online DDL,Schema变更效率提升。 金融级场景验证引擎稳定性与性能 在金融支付场景中,TDStore通过数据感知调度技术,将商户余额表(低频更新)与流水表(高频写入)的关联数据就近分布,显著降低分布式事务比例。 数据来源:2024腾讯全球数字生态大会TDSQL技术专场,主讲人黄潇。 技术核心:TDStore引擎通过LSM-Tree压缩、Multi-Raft协议、数据感知调度三大技术创新,为企业敏态业务提供高兼容、低成本、强一致的分布式数据库解决方案。